Proje İçeriği

Yapısal ve yapısal olmayan verilerin büyük veri ortamında arşivlenmesi ve tek bir kanaldan erişilmesini sağlayan bir ürün oluşturulmuştur. Böylece tüm arşivleme sistemi tek bir noktada birleştirilmiştir. Yapısal ve yapısal olmayan banka verileri, sosyal medya verileri büyük veri ortamına bir uygulama aracılığı ile aktarılmaktadır. Kullanıcılar büyük veri ortamını hiç bilmeden uygulama üzerinden arşivleme taleplerini ve yapabilmektedirler. Arşivlenen yapısal verilere standart sorgulama diliyle erişilebilmektedir. Yasal saklama süresi dolan veriler otomatik olarak büyük veri ortamında imha edilebilmektedir. Verilerin büyük veri ortamında arşivlenmesi ile daha az maliyetli ve daha performanslı Hadoop tabanlı büyük veri platformu kullanılmıştır.

Projenin Amacı

Mustafa.Bezeklioglu@turkiyefinans.com.tr

Proje içindeki en büyük inovasyon nedir? (yeni bir teknoloji veya var olan teknolojinin farklı kullanımı gibi. IOT, M2M, AI vb.)

Kurumun veri saklama maliyetlerini düşürmek, tüm arşivleme sistemlerini tek bir noktada birleştirmek ve sistemlerin performansı arttırmak için bu proje yapılmıştır.

Proje kurum içindeki hangi bölüme fayda sağlamıştır?(satış, pazarlama, finans, İK, IT, Üretim, Planlama, Satın alma, Lojistik Müşteri İlişkileri gibi)

Geliştirdiğimiz büyük veri arayüzü ile yapısal ve yapısal olmayan banka verileri, sosyal medya verileri büyük veri ortamına aktarılmaktadır. Kullanıcılar büyük veri ortamını hiç bilmeden uygulama üzerinden arşivleme taleplerini yapabilmekte ve yine bu arayüz üzerinden arşivlenen verileri sorgulayabilmektedirler. Çoğunluğu yapısal olarak değerlendirilebilecek olan kurum verilerinin, ilişkisel veri tabanları sistemlerinde tutulması kurumlara ek lisans maliyetleri getirmektedir. Canlı sistemler üzerinde tutulan eski verilerin canlı sistemlere olan performans yükü de gitgide artmaktadır. Yasal gerekliliklerden ve iş ihtiyaçlarından dolayı eski verilere zamanlı bir şekilde ulaşıp, raporlama ihtiyaçlarının karşılanması gerekmektedir. Bu tarz verilerin canlı ortamlardan alınıp daha ucuz olan yedek teyp gibi ortamlarda saklanması ise iş ihtiyaçlarının zamanında karşılanmasına engel olmaktadır. Kurumlar bu sebeplerden dolayı eski ve az sıklıkla kullanılmasına rağmen bu tip verileri canlı ortamlarda tutmaya devam etmektedir. Bu da veri tabanı performansında, depolamada ve lisans anlamında yüksek maliyetler ortaya çıkarmaktadır. Büyük veri tabanlı arşivleme yönetim sistemi, operasyonel olarak ihtiyaç duyulmayan yapısal ve yapısal olmayan verilerin arşivlenmesini sağlayan ve performansı mevcut sistemlerden çok daha iyi olan bir veri arşivleme platformudur. Arşivleme işlemlerini yapan kullanıcılar büyük veri platformu hakkında bir bilgi sahibi olmadan bu işlemleri yapmaktadır. Ayrıca, mevcut sistemlerde yapısal verilerin aktarım sırasında şifrelenmesi özelliği bulunmamaktadır. Büyük veri platformu veri sözlüğü ile entegre çalışır. Veri sözlüğünden büyük veri platformuna aktarılacak olan verinin gizli veya kişisel veri olup olmadığı bilgisini alır. Gizli ve hassas olarak belirtilmiş sayısal verileri homomorfik şifreleyerek büyük veri platformuna aktarır. Homomorfik şifreleme yöntemi, şifreli metin üzerinde yapılan matematiksel işlemlerin sonucunda oluşturulan şifreli sonucun, şifresiz veri üzerinde uygulanmasıyla elde edilecek sonuç ile aynı olmasını sağlar. Homomorfik şifrelemenin alfa-nümerik karakter setlerinde yapılamaması nedeni ile sayısal olmayan verilerde AES şifreleme algoritması kullanılmıştır. Bu şekilde tüm veri tiplerinin şifreli olarak aktarılabildiği ve endüstri standartlarını üzerinde bir ortam oluşturulmuştur. Bu platform bu ve daha birçok yenilikçi yönleri ile sektörde öncüdür.

Projenin hayata geçirilmesi konusunda üst yönetimin desteğini tam olarak alabildiniz mi?

Üst yönetimimizin projemize destekleri sayesinde bu proje tamamlanmış ve projenin devamında büyük veri ortamının kullanılmasını sağlayacak yeni bir büyük veri analitik projesine başlanmıştır.

Proje sonunda ortaya çıkan sonuçları analiz edebildiniz mi? Rakamsal verilerle ifade eder misiniz?(ROI, maliyetlerde yüzdesel azalma, üretim süresinde azalma, hata payının düşmesi vs.)

Proje direk olarak IT 'ye fayda sağlasa da diğer iş birimlerine de analitik tarafta fayda sağlamaktadır. Aşağıda listelenen faydalar elde edilmiştir. • Yapısal ve yapısal olmayan bütün banka verilerinin arşivlenebileceği platformun oluşturulması, • Arşivlenen verilere büyük veri ortamının yapısının bilinmesi gerekmeden, standart sorgulama diliyle performanslı bir şekilde erişilmesi, • Sosyal medya verilerinin büyük veri ortamına aktarılması ve aktarılan sosyal medya verisi üzerinde hızlı sorgulamaların yapılması, • Yakın zamanlı analitik raporlamanın yapılabilmesi, • Verilerin şifrenilerek güvenli bir şekilde saklanılması, • Veri saklama maliyetlerinin azalması dolayısı ile altyapı, lisans, sunucu maliyetlerinin de azalması, • Parallel ve complex makine öğrenmesi algoritmalarının desteklenmesinin sağlanması

Projenizde şirket içinden kaç kişi aktif olarak görev almıştır? Ekip birimleri hakkında kısaca bilgi verir misiniz?

Performans tarafında, paylaşımlı sanallaştırma katmanları kullanmak yerine amaca uygun atanmış sanal sunucular ve kaynaklar ile sistem kurulumları yapılmıştır. Böylelikle gelecekte talep edilecek büyüme ve performans ihtiyaçları için de ölçeklenebilir bir yapı tasarlanmıştır. Büyük veri platformunda kullanılan fiziksel sunuculara bağlı diskler ve HDFS teknolojisiyle paralel veri yazma, okuma işlemi sayesinde veriye erişimde performans elde etmek hedeflenmiştir ve hedefe ulaşılmıştır. Müşteri memnuniyeti artışı tarafında, iş birimlerinin yapısal ve yapısal olmayan veri aramalarında saatler içerisinde sonuçlanmayan sorguları 2-3 dakikada sonuçlanmaya başlamıştır. Örneğin, log tabloları veya log dosyaları gibi text içerikli veriler üzerinde yapılan sorguların sonuç dönmesi saatler sürüyordu. Teftiş birimlerimiz bu konuda sıkıntılar yaşıyor ve diledikleri şekilde sorgulamalar ve incelemeler yapamıyordu. Büyük veri arşivleme platformuna taşınan log tablo ve dosyaları üzerinden ilgili birimler saniyeler ve dakikalar içerisinde yanıt almaya başladılar. Veri tabanı yönetimi tarafında, verilerin arşivlenmesi ile veri tabanı yönetimin verilerine bakım için ayırdıkları iş gücü azaltılmış oldu. Üretim süresinde azaltma tarafında, ETL süreçleri ile günlerce uğraşılarak başka bir ortama aktarılabilecek veriler uygulamamız üzerinden dakikalar içerisinde çok rahatlıkla aktarılabilmektedir. Uygulamanın arka planda çalıştırdığı Sqoop jobları makinenin cpu'su kadar thread açabilmekte ve bu da çok hızlı bir şekilde milyarlarca kayıtlık dataların büyük veri ortamına aktarılmasına olanak sağlamaktadır. Hız artımı tarafında, Analitik birimlerimiz yakın zamanlı raporlama ihtiyaçlarını ETL’ler üzerinden çalışan veri ambarı sistemleri ile karşılarken saatler geriden gelen bir raporlama sistemi ile bunu yapıyorlardı. Büyük veri analitik çalışmalarımız ile bu raporlar 2-3 dakika geriden gelen yakın zamanlı sistemlere dönüştürüldü. Maliyetlerin azaltılması tarafında, proje kapsamında veriler SSD disklerden büyük veri ortamındaki SATA disklere aktarılarak arşivlenmiştir. Hdfs'in kendi içerisindeki yedekleme yapısı SATA diskler ile uyumlu çalışmaktadır. Bu da storage maliyetlerimizi azalttı. Müşteri memnuniyeti artışı ve yenilikçilik tarafında, veri analitik ekiplerimiz makine öğrenmesi çalışmalarında da büyük veri sistemlerinin gücüne ihtiyaç duymaya başlandığı belirttiler. Bu proje sayesinde mevcut makine öğrenmesi çalışmalarının daha gelişkin bir platform desteğini arkasına alarak paralel process edebilen sistemlere dönüşmesi için öncü çalışmalara başlanılabildi.

Projenizde (varsa)işbirliği kurduğunuz veya destek aldığınız bilişim şirketlerini belirtiniz.

Projemizde 5 kişi aktif olarak çalıştı. Kurumsal Mimari müdürlüğümüzdeki büyük veri developerları ile .Net Core ve Angular bilen yazılımcılar projemizde aktif olarak görevler aldı. .Net Core ve Angular yazılımcıları uygulamanın ara yüzünü geliştirirken, büyük veri developer'ları büyük veri ortamının kurulması ve büyük veri ortamındaki gerekli geliştirmelerin yapılması kısımlarında çalışmalar gerçekleştirdi.

Proje sırasında kullandığınız ve spesifik önemi olan markaları (varsa) belirtiniz. (Yazılım veya donanım markaları)

Komtaş ve İstanbul Data Science Academy'den büyük veri eğitimleri alındı